Năm 581, Dương Kiên cướp ngôi Bắc Chu, xưng là Tùy Văn Đế. Không lâu sau, Văn Đế phong cho Cao Quýnh làm Thượng thư Tả bộc xạ, Nạp ngôn, tước vị Bột Hải quận công. Ông không thích có quá nhiều quyền lực, nên muốn nhường chức vị Bộc xạ cho Tô Uy. Tuy nhiên không lâu sau, Văn Đế hạ chiếu phục chức cho ông, lại phong thêm làm Tả Vệ đại tướng quân.

Mấy tháng sau, do Đột Quyết ở phía bắc nhiều lần cử binh xâm phạm, Văn Đế phái Cao Quýnh đưa quân lên đánh dẹp. Sau khi trở về, được ban thưởng ngựa và thăng chức Tân Đô đại giám. Sau đó còn đổi làm Lĩnh quân đại tướng quân. Mẹ ông buồn vì việc này, nên ông muốn từ chức, Văn Đế không chấp nhận.

Năm 582, Cao Quýnh được phong làm Tiết độ chư quân, cùng Trưởng Tôn Lãm, Nguyên Cảnh San xuất binh đánh nước Trần. Giữa đường, nghe tin Trần Tuyên Đế mất, ông cho rằng trong nước Trần có tang thì không nên thừa cơ đánh úp, bèn xin rút quân về. Ông nhiều lần hiến kế cho Văn Đế nên chăm chỉ luyện binh và bí mật cử người xuống Giang Nam phóng hỏa vào các vựa lúa ở nam thì trong mấy năm, nước Trần sẽ suy nhược, Văn Đế nghe theo.

Năm 589, Văn Đế sai con là Tấn vương Dương Quảng thống suất đại quân diệt Trần, Cao Quýnh được phong làm Nguyên soái trưởng sử. Sau khi tiến chiếm được Kiến Nghiệp, diệt Trần quốc, Dương Quảng thấy sủng phi của vua Trần là Trương Lệ Hoa có nhan sắc, muốn chiếm làm của riêng. Cao Quýnh can ngăn:

Rồi cho giết Lệ Hoa. Dương Quảng hậm hực ông về điều này.

Sau khi trở về kinh, Cao Quýnh được bái làm Thượng trụ quốc, thăng làm Tề quốc công, thực ấp 1500 hộ ở huyện Thiên Thừa. Có người gièm pha ông tạo phản nhưng Văn Đế vẫn tin tưởng ông và sai giết hết bọn đó. Về sau Hữu Vệ tướng quân Bàng Hoảng và Lư Bí cũng tố cáo ông, bị Văn Đế sai phế chức. Phu nhân của ông là Hạ Bạt thị có lần bị bệnh, Văn Đế cũng đích thân đến hỏi thăm và ban trăm vạn tiền và thiên lý mã cho ông.

Văn Đế hỏi ông về công lao diệt Trần, ông nói công là do Hạ Nhược Bật, ông không có công gì. Vua cười, khen ông là người khiêm tốn, sau đó đem con gái của thái tử Dương Dũng gả cho con trai của ông. Sau đó thấy trên thường có dị tượng sao huỳnh nhấp thái vi, thuật giả Lưu Huy Tư nói với ông đó là điềm bất lợi cho tể tướng, ông rất lo, đem việc này nói với Văn Đế. Văn Đế phủ dụ và trấn an ông.

Sau đó quân Đột Quyết lại xâm phạm biên giới, Văn Đế sai Cao Quýnh làm Nguyên soái, đại phá được quân Đột Quyết, thừa thắng từ Bạch Đạo tiến sang đất Thích, xin thỉnh thêm binh đánh tiếp. Có người tố cáo ông muốn làm phản, ông sợ nên rút quân về.

Cuối thời Văn Đế, thái tử Dương Dũng bị thất sủng, Văn Đế muốn cải lập Dương Quảng, hỏi ý Cao Quýnh. Ông cho trưởng thứ có chế độ, không thể phế được. Văn Đế không nói gì. Độc Cô hoàng hậu ghét Cao Quýnh, nhân phu nhân của ông vừa chết, nói với Văn Đế rằng ông đã già, trong nhà lại có tang, cần được nghỉ ngơi. Văn Đế nói lại với ông, Cao Quýnh bèn xin từ quan về nhà, nhưng cuối cùng Văn Đế giữ ông lại.

Ái thiếp của Cao Quýnh sinh ra con trai, Văn Đế rất mừng, Độc Cô rất tức giận[3], bèn gièm pha ông với Văn Đế.

Năm 598, Văn Đế muốn đem quân đánh Cao Câu Ly, Cao Quýnh cố gắng khuyên can nhưng Văn Đế không nghe, sau đó phái ông làm Nguyên soái trưởng sử, theo con trai mình là Hán vương Dương Lượng đánh Liêu Đông, giữa đường quân sĩ bị bệnh tật nhiều. Độc Cô nhân đó lại gièm pha Cao Quýnh với Văn Đế. Văn Đế không nghe, lại lấy cớ Dương Lượng còn nhỏ, ủy thác việc quân cho Cao Quýnh. Từ khi nắm quyền trong quân, ông lại không nghe ý của Dương Lượng. Khi quân Tùy và Cao Câu Ly giảng hòa, Lượng về kinh, khóc lóc với hoàng hậu. Văn Đế biết chuyện cũng sinh ra bất bình.

Sau đó Thượng trụ quốc Vương Thế Tích có tội bị giết, Văn Đế cho rằng Cao Quýnh có dự vào việc này, muốn xử phạt ông.Các đại quan Hạ Nhược Bật, Vũ Văn Di, Hộc Luật Thiếu Khanh, Liễu Thuật đều xin cho ông, Văn Đế bèn bỏ tước công của ông.

Năm 599, có người tố cáo ông muốn làm việc như Tấn Tuyên Đế Tư Mã Ý thời Ngụy khi xưa, cáo bệnh mười mấy năm rồi có được thiên hạ. Văn Đế tức giận, sai bỏ tù Cao Quýnh vào Nội sử tỉnh. Sau đó Hiến ti lại tâu lên Văn Đế rằng Quýnh có người thuật sĩ phao tin rằng trong năm nay thiên sẽ có đại tang và vua Tùy năm thứ 17, 18 sẽ gặp tai ách, không sống được đến năm thứ 19[4]. Văn Đế nổi trận lôi đình, nhưng sau bình tĩnh lại. Hữu ti dâng biểu xin giết Quýnh, Văn Đế không nỡ làm, bèn phế ông làm thường dân. Trước đó, bà mẹ của ông thường nói với ông rằng phú quý lên đến tột độ thì tự nhiên sẽ có tai ách, nên Cao Quýnh không bất ngờ về việc này, cũng không có chút oán hận.